Chủng sinh Huỳnh Văn Của được thụ phong linh mục ngày 20 tháng 9 năm 1941, cùng khóa với các linh mục: Phêrô Nguyễn Văn Trung, Antôn Lê Quang Thanh, Matthêu Hồ Văn Lành và Lôrensô Nguyễn Thái Sơn. Thời kỳ là linh mục, linh mục Của đã phục vụ tại nhiều giáo xứ như: Tha La, Gò Dầu, Hiệp Thạnh, Búng, Bến Sắn, Lái Thiêu cũng như giữ chức linh mục Tổng đại diện Giáo phận Phú Cường.[3]

Sau khi được phong chức linh mục, linh mục Của được giám mục giáo phận điều về làm linh mục phó giáo xứ Mỹ Tho. Năm 1942, linh mục Của được thuyên chuyển đảm trách vai trò Giáo sư Tiểu chủng viện thánh Giuse Sài Gòn trong vòng một năm trước khi được bổ nhiệm làm linh mục chính xứ giáo xứ Gia Định.

Năm 1947, nhận thấy họ đạo Gia Định có diện tích quá lớn gây bất tiện cho việc sinh hoạt tôn giáo, linh mục Huỳnh Văn Của đệ trình thỉnh nguyện đến Tòa Giám mục Sài Gòn nhằm đề xuất ý kiến mở thêm một nhà thờ giáo họ với địa giới hành chính tại xã Bình Hòa, quận Gò Vấp, tỉnh Gia Định, Thành phố Sài Gòn. Từ năm 1958, ông sang Pháp tìm hiểu và sống với tu hội Bác ái của Pháp (Foyer de Charité) đến năm 1964 thì về nước, làm linh mục chính xứ giáo xứ Tha La. Một năm sau, giám mục giáo phận thuyên chuyển linh mục Của làm linh mục chính xứ giáo xứ Gò Dầu Hạ (Tây Ninh).

Từ năm 1966, Giám mục chính tòa giáo phận là Giuse Phạm Văn Thiên bổ nhiệm linh mục Giacôbê Huỳnh Văn Của làm linh mục Tổng Đại diện giáo phận Phú Cường. Tuy nhiên, không lâu sau đó, giám mục Thiên lại điều linh mục Của về làm linh mục quản nhiệm họ đạo Búng. Từ năm 1967 đến năm 1968, ông là linh mục chánh xứ giáo xứ Lái Thiêu. Thời gian này ông thành lập Trung tâm Bác Ái Lái Thiêu. Tại đây, ông đã đón nhận những người neo đơn túng thiếu, đồng thời là nơi tĩnh tâm linh mục. Linh mục Huỳnh Văn Của luôn hỗ trợ về lương thực, nơi ở và các nhu cầu khác cho mọi người, không phân biệt tôn giáo. Trung tâm này đến năm 1993 trở thành Trung tâm Nghỉ dưỡng linh mục giáo phận Phú Cường và đến tháng 5 năm 2006 trở thành giáo xứ Phú Long. Ngoài ra, ông cũng thành lập Nhà hoàn lương cho Phụ nữ tại Long Thành.[3] Ông thường giúp đỡ người khó khăn đến gặp mình bằng tiền và thường vay mượn để hỗ trợ họ khi không sẵn tiền.[4]